בתהליך הערכת פרויקטים.

בתהליך הערכת פרויקטים. כרב-שיח משוב ד"ר מירי לוין רוזליס אצל: אביעד רז (עורך), מקראה לפסיכולוגים ארגוניים, הוצאת אוניברסיטת ב-גוריון, 1999 משוב הוא התהליך שבו ידע שנאסף ועובד על ידי אנשי ההערכה מושב לבעלי עניין בפרויקט לצורך שיפור והתייעלות. על מנת שיוכל המשוב לשמש את אנשי הפרויקט, הוא חייב להיות ניתן להבנה, לעיבוד וליישום. תפקידו המקצועי של המעריך הוא לדעת להתאים את המשוב למי שצריך לקבל אותו, למי שצריך לפעול לפיו, כך ששינוי שמתבקש מעבודת ההערכה יוכל לצאת לפועל. 2 1 הדיווח של מחקר. בכך יעסוק פרק זה. והבחנתה ממחקר הערכה להתאמה זו יש כללים משלה, השונים מאד מכללי ההגדרה הראשונה הידועה בספרות של 'הערכה' מדברת על 'קביעת ערכו או שוויו של דבר' (פעולה חינוכית)..(1950 Tyler).(Viveret 1989) ההמשגה, התכנון, הגדרות אחרות מדברות באופן דומה על רוסי ופרימן מדברים על היישום, והתועלת של תוכנית ציבורית' בחינה אובייקטיבית ובלתי תלויה של הרקע, 'התהליך של יצירת שיפוט על ערכה של תוכנית' 'יישום שיטתי של פרוצדורות של מחקר חברתי לצורך בחינת המטרות,,(Rossi & Freeman 1993) התוצרים, שתאפשר למידה, לצורך יישום רחב יותר (1997.(Nagarajan & Vanheukelen 3 'הערכת תוכניות ופרויקטים' ונגרחן וונהויקלן על הפעילות והאמצעים שמופעלים, בראיה ו'מחקר' נבדלים ביניהם ראשית לכל בתפקידם הבסיסי. בעוד ההערכה היא כלי שרת בידיהם של מתערבים חברתיים או חינוכיים, תפקידו של מחקר הוא להגדיל את גוף הידע המדעי. תפקידה של ההערכה להעריך עד כמה משיג הפרויקט המוערך את מטרתו, מה מושג, מה לא מושג ולמה, ומהם תוצרי הלוואי של פעולתו. פרויקטים חברתיים/ בכך מסייעת ההערכה בשיפור פעילות קיימת, קהילתיים/ חינוכיים או תוכניות התערבות. ותורמת להמשך פעולה שוטף ויעיל של מטרתה העיקרית של פעולת ההערכה היא לתת משוב יעיל לבעלי עניין בפרויקט או בתוכנית נתונה. לפיכך הערכה חייבת להיות רלוונטית לבעלי העניין בפרויקט. משמעות הדבר שממצאיה הם תלויי ההקשר הפרטיקולרי, מנוסחים בשפה ובמונחים של המתערבים, וצריכים לעמוד בלוח זמנים של הפרויקט ולא של תהליך ההערכה, משתני הפרויקט ותופעותיו.(1997 Nagarajan & Vanhuekelen ;1998 החקר. האוכלוסייה המוערכת, השדה שבו נעשית כל אלה נתונים מראש ואינם ניתנים לבחירת המעריך. (לוין-רוזליס מהותו של המחקר המדעי נמצאת בויכוח מתמיד בין פילוסופים שונים הנוטים להדגיש צדדים שונים שלו: הרציונליסטים מול האמפריציסטים, הפוזטיביסטים מול קון (בלכר Caws 1965, Copi Kuhn 1962,1987 1 ישנן מספר תפישות לגבי הערכה והפעלתה, ולפיכך גם לגבי משוב. בפרק זה מוצגת תפישת העולם המקצועית שלי. אין לי כל יומרות להציג את כל התפישות הקיימות במידה שווה. חשוב לי לציין שהגישה שמוצגת פה, היא הגישה שלי, וישנם אנשי הערכה רבים וטובים שחושבים ופועלים אחרת. 2 3 הערכה מעריכה תוכניות חינוכיות, קהילתיות, חברתיות, תוכניות לימודים, פרויקטים, מצומצמים או רחבים, פשוטים או מורכבים, לזמן קצר או בליווי ארוך טווח, כשהיא מתבוננת במבנה, בתהליך, ביחסים, בתוצרים, ברמת פרט או ברמת מערכת. מטעמי נוחות אכנה לאורך המאמר את כל אלה בשם "הערכה ". 1

,1961,). Hempel 1965 Popper 1959 אבל ישנם כמה קריטריונים והגדרות מקובלים פחות או יותר. מקובל לומר שמטרת המחקר, כמתודה המדעית, לחשוף את החוקים הכלליים שעל פיהם פועל העולם, ולהבינם, על מנת להשיג שליטה טובה יותר בטבע, ועל מנת לספק את התשוקה האנושית לידע. ההערכת פרויקטים ותוכניות, כדיסציפלינה, התפתחה מכיוון שלמחקר לא היו תשובות משביעות רצון לסוג השאלות שההערכה מתמודדת איתן. שאלות הערכה עוסקות בפרויקט קונקרטי, לכן בנוסף על משתנים הן עוסקות גם (ולעיתים בעיקר) בתופעות חד פעמיות, ייחודיות לפרויקט הנתון. ) Vanhuekelen Nagarajan & ;1997). Patton 1981 חלק גדול משאלות ההערכה אינן ניתנות לניסוח בהיר מראש, ונחשפות כשאלות תוך כדי תהליך ההערכה עצמו. שאלה מחקרית חייבת לבטא יחס בין משתנים, להיות מנוסחת בבהירות, ולהינתן לבחינה אמפירית ) Kerlinger 1972). שאלה מחקרית צריכה גם לחדש, שכן מטרתו הראשונה במעלה של מחקר היא הגדלת גוף הידע. 4 מחקר מדעי חותר להסבר מקיף ומוכלל של תחום שלם במציאות. (פרס, 1984), כאשר התיאוריה המדעית משמשת כגירוי לעשייה. ניסוח תיאוריה מדעית או עידון של תיאוריה קיימת, היא המטרה של כל הליך מחקרי, דדוקטיבי, אינדוקטיבי, כמותי, או איכותי. תיאוריה היא הכלי שבאמצעותו נצבר, משתנה ומוסבר גוף הידע המדעי. התיאוריה מארגנת קונסטרוקטים, הכללות, הגדרות ופרופוזיציות שמייצגות ראייה או הצגה שיטתית של תופעה, על ידי ספציפיקציה של היחסים בין המשתנים, במטרה להסביר ולנבא את מופעיה. (בלכר 1987, (.Turner 1986, Wallace 1969 Caws 1965, Copi 1961, Hempel 1965, Popper 1959, תהליך הערכת תוכניות או פרויקטים הוא תהליך שעיקרו בפרקטיקה. בבדיקת קיים קונקרטי, לצורך מתן משוב לבעלי עניין מסוגים שונים. תהליך ההערכה יוצא משדה נתון וחוזר אליו, תוך התאמת שאלותיו וכלי החקר לטיב הפרויקט המסויים, אוכלוסיותיו ומאפיינים רלוונטיים אחרים שלו. ישנם קריטריונים נוספים שמבחינים את פעילות ההערכה מתהליך של מחקר קונבנציונאלי. מחקר שואף לניסוח חוק כללי, מסתפק בקשר בין משתנים, ושם דגש על תוקף חיצוני ופנימי. נחמיאס ונחמיאס (1982) טוענים, שקיימת דילמה בסיסית בין סיבתיות להכללה: "כדי להבטיח הוכחות בלתי מעורפלות לסיבתיות, מקריבים תכופות את כושר ההכללה." (עמ' 50) כך במחקר. בהערכה יכולת הכללה אינה בתחום ההחלה שלה. אבל הצורך להבין מהיכן נובעות התופעות - בהחלט כן. הערכה שמה דגש על תוקף פנימי, ונותנת חשיבות עליונה להסברים סיבתיים. מבחינת תחום ההחלה והיישום של הערכת תוכניות ופרויקטים, השאלה של מקום המידע, היא אחד המבחינים העיקריים שבין הערכה לבין מחקר. פעולת המחקר, כמו גם פעולת ההערכה, הן המקשרות בין המידע שמסתובב לו שם בחוץ, לבין הידע המאורגן, המפורש והמובנה שמתקבל בסוף התהליך. במחקר המידע עצמו - הגדלת גוף הידע המדעי - הוא המטרה, ויש לו ערך בפני עצמו. בהערכה המידע הוא אמצעי, ויש לו ערך קודם כל לבעלי העניין השונים הקשורים בפרויקט או בתוכנית המוערכים. לדוגמא: שאלה במחקר תהיה 'הקשר שבין התפתחות של יחסים חברתיים מסוג X, בין אנשים שמצויים יחדיו 24 שעות ביממה, לאורך תקופה.' ניסוח זה מבקש להבין אם התופעה של התפתחות יחסים מסוג X היא בעלת דפוס דומה מעבר לאוכלוסיות ומצבים שונים. 1. לא אכנס כאן לדיון במושג" 'תיאוריה", ולויכוח לגבי מתי שורה של הכללות נקראת תיאוריה. זה אינו חשוב לעצם העניין. 2

בהערכה מעניין אותנו (ואת שולחינו) מה קורה בגיבוש של מועמדים לקורס טיס 1999, לצורך הפקת לקחים פיקודיים, או מה קורה במחנה קיץ של בני נוער, לצורך הגברת שביעות רצון המשתתפים, ולא מעניין אותנו אם אותם קשרים יהיו גם בין דיירים של בית אבות, או של פנימייה. אנו גם נבדוק יחסים מסוג A ומסוג B ומכל סוג שיופיע, ואת הקשרים ביניהם, ולא רק את היחסים מסוג X, וגם עניינים נוספים שיופיעו במהלך הקורס. חשוב כמובן שנוכל לומר משהו שישמש גם את הקורסים הבאים, או מחנות הקיץ העתידיים. אבל אותם גורמים ייחודיים לקורס או למחנה הקונקרטי, כאלה שבמחקר יהוו רעש, וינסו לנקות אותם, בהערכה הם במוקד הבדיקה. בהערכה ניתן להשתמש בכל הכלים שמשמשים אותנו במחקר כמותי או איכותי. לצורך מעקב אחר תהליכים, אחר תפישות ועמדות, ובעיקר לא מוצהרות או לא מודעות, משמשים אותנו בעיקר כלים פתוחים כמו תצפיות, ראיונות ושיחות, לעיתים כלים השלכתיים. לצורך למידה של תכנים גלויים יותר משמשים אותנו בנוסף כלים כמו ניתוח פרוטוקולים, ראיונות מובנים, שאלונים למיניהם. בהערכה, לעיתים קרובות יש קושי טכני להשתמש בכלים קיימים, בעיקר שאלונים מתוקפים, מכיוון שהסיכוי למצוא שאלון מתוקף, שעוסק בדיוק בשאלות ובתכני ההערכה שמעניינים את המעריך או את התוכנית, שמתאים לאוכלוסייה הנבדקת, (כמובן כאשר האוכלוסייה מספיק גדולה והומוגנית על מנת להשתמש בכלל בשאלון), הוא סיכוי נמוך ביותר. כמובן שאם כל התנאים מתאימים, יש עדיפות לכלי כזה, כמעט תמיד כמשלים לכלים נוספים. בכל בחירה של כלים, צריך מעריך לקחת בחשבון שני דברים בעיקר: עד כמה מכסה הכלי הנבחר את השאלות הנבדקות. בגלל ריבוי השאלות בהערכה ומורכבותן, ריבוי כלים, וריבוי מקורות מידע, הוא הכרחי. עד כמה מתאים הכלי לאוכלוסייה. ולא רק לגבי שאלונים. גם ראיונות הם בעייתיים באוכלוסיות מסויימות. ישנה בעיה של שפה, של אמון, של נוהגים תרבותיים. כל אלה צריכים להילקח בחשבון. התהליך החשוב הוא תהליך עיבוד האינפורמציה, שמגיעה מכלים רבים, ולהבנות אותה למבנה ידע בר משמעות. אך לא בכך אנו עוסקים. ודיווח משוב, הערכה, גם ההגדרה המצמצמת של מטרת הערכה: "בדיקת ערכו או שוויו של דבר" (1950,(Tyler מדברת למעשה על רצון לשפר את הנעשה. בדיקת שוויו של דבר, בשביל לעשות יותר טוב (או לבחור חלופה טובה יותר). בודאי שכל ההגדרות המורכבות יותר, עוסקות ברצון לשפר, מי במפורש ומי במשתמע. איך לשפר, ומה המשמעות ב'לשפר'? התפישה המצמצמת מדברת על מתן מידע על הישגי הפרויקט, לגוף הממן או היוזם, בדרך כלל בתום תקופת הפעילות, לצורך הפקת לקחים. התפישה המרחיבה מדברת על מתן דיווח שוטף, המשכי, לבעלי העניין השונים בפרויקט, ואף לאפשר להם ולעזור להם, לאסוף ולעבד חלק מהמידע בעצמם. הפעילות של העברת המידע וחילופי הידע, היא הדדית. שני הצדדים מחליפים ביניהם ידע ומידע. צוות הפרויקט הוא ה'מומחה' לפרויקט, לתוכניותיו, לדרכי הפעלתו, לתנאי הפעלתו, וכיוצא באלה. הידע הזה חשוב לאנשי ההערכה, על מנת שיוכלו לבצע את עבודתם. אנשי ההערכה הם המומחים להערכה. הם מתבוננים בתהליכים, באינטראקציות, בידע שלהם, ובמידע מהפרויקט, ככלים לשיפור התהליכים בפרויקט. 3 מנתחים אותם, ומשתמשים

דיווח הוא צעד אחד בתהליך של משוב. זהו תהליך קווי כאשר צד אחד מוסר מידע לצד השני. פעולה של משוב,,(feedback) היא תהליך מעגלי או ספירלי של השפעות הדדיות באמצעות מידע: איסוף מידע, עיבוד מידע שנאסף, והחזרתו לצד השני. הפעילות היא הדדית מכיוון שהמידע שמגיע מן הפרויקט משפיע על הידע וההבנות של צוות ההערכה, ומידע המעובד המוחזר לפרויקט אמור להשפיע על הבנותיו ופעילותו. המידע נאסף מהפרויקט באמצעים שונים, ראיונות, שאלונים, תצפיות, ניתוח חומרים כתובים, מעובד על ידי המעריכים, ומוחזר לפרויקט בצורת דיווחים בכתב או בעל פה. הפרויקט מגיב לדיווחים, לעתים מביא לתיקון מידע שגוי או להשלמתו, עושה שימוש בנתונים המעובדים שנמסרו לו, על פי מיטב שיפוטו, וחוזר חלילה, עד תום פעולת ההערכה, או עד תום פעילות הפרויקט. (חשוב לציין שגם המידע שמגיע מהפרויקט הוא מידע שבחלקו עבר עיבוד ברמות שונות. ודאי כך כשמדובר בראיונות מובנים או בניתוח מסמכים). מכיוון שבעבודת הערכה אנחנו עוסקים בהעברה הדדית של מידע ושל ידע, כאשר ישנה השפעה הדדית של הידע הנמסר על התפישות ועל ההבנות של שני הצדדים, אנו עוסקים למעשה בפעילות של משוב. יתרה מזו, את עבודת ההערכה ניתן להגדיר כתהליך הדדי והמשכי של משוב שבו הפרויקט המוערך וצוות ההערכה לוקחים חלק. מידע מידע ציר זמן ציר הזמן ציר זמן ציר הזמן כבר ציינתי שדיווח יכול להיות מקטע בתוך תהליך המשוב, שעוסק במסירה מתוכננת של מידע מעובד. אבל לא מדובר בהגדרה טכנית. יש שוני גדול בתפישת מהות ההערכה, בין תפישת ההערכה כמדווחת לבין תפישת ההערכה כחלק מתהליך של משוב. תפישת פעולת ההערכה כתהליך מתמשך של משוב, רואה הדדיות בין הפרויקט להערכה, תוך קיום דיאלוגים שוטפים החשובים לשני הצדדים. תפישת ההערכה כמדווחת, שמה את ההערכה ואת הפרויקט, במידה רבה משני צדדים של מתרס, כאשר כל צד של המתרס מבצע תפקיד מובחן ובלתי תלוי (יחסית). כל מה שיאמר לגבי משוב, נכון בדרך כלל גם לדיווח, ועוד יותר. מכיוון שבתהליך משוב מדובר בתהליך המשכי, ניתן לכפר על אי הבנות, להשלים מידע חסר או לתקן מידע לא מדויק. ניתן לשלוט יותר באופן ובקצב זרימת המידע מהמעריכים לפרויקט, ולהתאימו בצורה טובה יותר לקהלים ולמצבים שונים בפרויקט. בדיווח, מעצם היותו חד פעמי וחד כיווני (גם אם הוא נעשה בפרקים קצובים), כל אלה כמעט ולא אפשריים. מכיוון שמדובר בתהליך הדדי, גם החלק של איסוף האינפורמציה בפרויקט הוא חלק מהתהליך של משוב. חלק זה מטופל הרבה בספרות שעוסקת בהערכה, ובקורסים שונים של הערכה. התרומה של המעריכים לאינטראקציה, הטיפול שלהם במידע, והאופן שבו המידע מועבר מהם אל הפרויקט, מטופל הרבה פחות. 4

המעריכים חייבים לדעת, וזהו תפקידם המקצועי לדעת, שאכן עשו הכל על מנת שתהליך המשוב יוכל להמשיך ולפעול, מכיוון שזה במהות ההגדרה של עבודת ההערכה. ללא היכולת להעביר את ממצאיו באופן שמביא תועלת, אין תועלת בצוות ההערכה, בדיוק כפי שאין בו תועלת, אם אינו מצליח לאסוף נתונים. כמובן שתתכנה בעיות שתורמות לעצירת תהליך המשוב (בכל נקודה שהיא), באופי הפרויקט עצמו, או בבעלי עניין אחרים של ההערכה. אבל, גם אז, תהליך המשוב על שני חלקיו הוא באחריות המעריכים, גם איסוף המידע וגם השבתו לפרויקט, או לבעלי העניין השונים של ההערכה. ושניהם חשובים באותה מידה. ללא משוב (או דיווח) - אין הערכה. ודיווח שאינו בר תועלת - כאילו לא נעשה. בהרצאה שנתן פרופ' רוברט סטייק באוניברסיטת תל-אביב, ושהוקדשה לשאלת האתיקה בהערכת פרויקטים, הוא נתן שתי דוגמאות. (1998.(Stake ברצוני להשתמש בדוגמאותיו אלה, לא לצורך דיון באתיקה, אלא כנקודת מוצא לשאלת מקום המשוב בתהליך ההערכה ואיזה אופי עליו לשאת. בהמשך אראה שיש קשר בין השאלות האתיות על מהות ההערכה, לבין טיב המשוב ואופן מסירתו. ומכאן למספר הנחיות פרקטיות ולשאלת האיך. (הדוגמאות מובאות בתרגום ובעריכה חופשיים שלי מ.ל.ר). בדוגמא הראשונה מספר סטייק על הערכה שעשה ארגונו CIRCE (מרכז ההערכה באוניברסיטת אילינוי), עבור ה'אקדמיה למורים' בשיקגו, שהיא גוף עצמאי, שחי מתרומות, ושפועל לשיפור תהליכי הוראה. בדו"ח שכתבו המעריכים לסיכום הפעילות, היה פרק ביקורתי למדי, לגבי תוכנית חדשה שפותחה באקדמיה. האקדמיה, כגוף שחי מתרומות, בקשה להשמיט את הפרק מהדו"ח, בגלל הנזק שעלול להיגרם להם בעקבותיו. לטענתם, הם שהזמינו את ההערכה, והם שצריכים להפיק את לקחים מהממצאים השליליים, ואכן עשו זאת, וזה מה שחשוב. צוות ההערכה סרב. בדוגמא השנייה, מתאר סטייק פעילות הערכה של תוכנית פעילות קיץ ל- 60,000 בני נוער, שתוכננה לשלוש שנים. לאחר השנה הראשונה, פנו אנשי הפרויקט, לצוות ההערכה, בבקשה לצרף איש הערכה פנימי של הפרויקט לצוות של - CIRCE הבקשה נדחתה. הצוות המנהל של הפרויקט בחר אתרים לבדיקה, ותאם את הקשר עבור צוות ההערכה, צוות ההערכה סרב, ודרש לבחור אתרים בעצמו, ולארגן לעצמו את הפגישות. באתרים עצמם היו חיכוכים עם המפעילים במקום, בקשר לאופי פעילויות ההערכה. בישיבת הועדה הציבורית המייעצת (מעין הנהלה ציבורית) של התוכנית, הותקף צוות ההערכה, על היותו בלתי רגיש לתוכנית ולצרכיה, על היותו גזען, על כך שלא אסף נתונים שיכולים להביא תועלת לאנשי התוכנית, אלא התעלם מצרכיהם. צוות ההערכה התעקש על כך שנהג על פי החוזה, ועל פי התוכנית שהסכימו עליה מראש, וגם דרש לבחון את פעילות הועדה המייעצת עצמה. צוות ההערכה הקשיב להערותיהם של חברי המועצה, אבל דחה את גישתם ובקשותיהם לגבי כלים או פרוצדורות. צוות ההערכה גם הציג שורה של בעיות פוטנציאליות, בלי למסור פרטים מלאים על מהות הבעיות או משמעותן. בתום השנה, לא הוארך החוזה עם צוות ההערכה, והעבודה הופסקה. מהתבוננות בשתי הדוגמאות שמביא סטייק, נראה שליד הבעיות האתיות שהוא מעלה, ישנה גם בעיה של אופי הדיאלוג שבין המעריכים לבין נציגים שונים של התוכניות המוערכות. יותר מזה - נראה שיש קשר בין השאלות האתיות, או התשובות להן, לבין אופי הדיאלוג. אופי הדיאלוג ויעילותו, קשורים קשר ישיר להגדרת המעריך והמוערכים, את הסיטואציה ההדדית של תהליך ההערכה. של מי ההערכה, ואת מה היא משרתת. ההגדרה הזו בדרך כלל איננה ברורה, מכיוון שעצם הסיטואציה של תהליך ההערכה, שבתוכה עובד המעריך, ובתוכה נמצאים המוערכים, איננה סיטואציה ברורה. 5

חוסר הבהירות הזה החל עוד מאז התייחסותו של טיילר להערכה כתחום מובחן ממחקר (1942.(Tyler עם התפשטות הדיסציפלינה של הערכת תוכניות ופרויקטים, גדלות הדרישות מהמעריך, ונחלשים הקריטריונים לבחינת עבודתו. בעיקר אפשר לציין שני שינויים מרכזיים: האחד, התרחקות מהתפישה שלפיה הנחות דדוקטיביות שעומדות מאחורי מטרות הפרויקט, קובעות את שאלות ושיטת ההערכה. במקום זה החלו שאלות ההערכה (והשיטות הנובעות מהן) לנבוע מהשדה המוערך עצמו. תהליך זה הביא לפניה אל מגוון של שאלות ושיטות בו זמנית, תוך התאמתן לסיטואציה קונקרטית. השינוי השני הוא המעבר של מוקד ההערכה, מהממצאים כשלעצמם, לשאלה למי או למה חשוב המידע שנאסף, איך ינוצל המידע, ומכאן - איזה סוג מידע יש לאסוף. ) and Smith 1986; Rossi and Freeman 1982; Rossi.(Wright 1984 נוספה הציפייה שההערכה תספק מידע שימושי שיעזור להכריע בין חלופות, שתספק מידע למקבלי החלטות, מידע שיאפשר פעולה מכוונת לשיפור תהליכים ושירותים. ההערכה התבקשה לעצב תוכניות; לבחון מטרות, תוכניות פעולה, דרכי ביצוע, ותוצרים של פעילויות; לגשר בין תרבויות; להבנות מחדש את המושגים ותמונת עולם עבור הקליינטים; ולהעצים אותם באמצעות הערכה. (נבו 1976,,1997 Abma Drewett 1997, Guba and Lincoln 1989, Pawson 1996, Renzulli 1975, Scriven 1967, Stufflebeam et.(al 1974, Werner 1978 על מנת לסבר את האוזן, מונה פטון את הדרישות שהוצבו למעריכים: להיות בעלי כישורים טכניים, ניטרליות פוליטית, מתוחכמות פוליטית, שייכות פוליטית, טוהר אתי, מכוונים לקליינט, מודעים לעלויות, מקצועיים, בלתי תלויים, מקושרים אפיסטמולוגית, גמישים,... ועם מנדט לריבוי שיטות, ריבוי קהלים, ריבוי מקורות מימון, ריבוי פרספקטיבות, ריבוי פרדיגמות, ריבוי מונחי הערכה, וכן הלאה (עמ' (Patton 1981 11-12, פטון רק מוסיף בספרו את הדרישה המתבקשת מכל אלה: להיות יצירתיים. המעריכים נמצאים בין הפטיש לסדן. מצד אחד מוצגת להם דרישה לתת תשובות מגווונות לשאלות רבות, מצד שני קיים הקושי של חוסר במסגרות עבודה ברורות. ),1995 Eyken, Goulden and Crossley Finne et al 1995, Guba and Lincoln 1989, Kazi 1996, Nagarajan and VanHeukelen 1997,.(Pawson and Tilley 1997, Scriven 1996, Stake 1998, Tucker and Dempsey 1991 כל השינויים האלה העצימו את משקלה של שאלה אתית ופרקטית כאחת - שאלת המידע. המעריך קובע איך לאסוף את המידע, איך לעבד אותו, ומה הן המסקנות וההמלצות הנובעות ממנו. המעריך אמור לקבוע איזה סוג מידע חשוב, למי הוא חשוב, לצורך מה הוא חשוב. 'מידע' הוא שם המשחק. אם 'מידע' הוא שם המשחק בהערכה, הרי שפעילות מסירת המידע, פעולת הדיווח, או מסירת המשוב, היא מרכיב דומיננטי בעבודת הערכה. ולמרכיב הזה שני פנים. הפן הראשון, הוא הפן של החשיבה המקדימה. איזה מידע, למי ואיך. הפן השני הוא המיומנות של העברת האינפורמציה הזו, מסירת המשוב או הדו"ח. ומיומנות זו היא חשובה, בין אם מדובר בהערכה מסכמת, ואמצעי המשוב הוא דיווח כתוב שאינו פתוח לדיון, ובין אם מדובר בהערכה מעצבת או משתפת, שבהן תהליך מתן המשוב הוא דיאלוג רציף ומתמשך, וכמובן בכל הטווח שבין שני קצוות אלה. שני הפנים האלה של המשוב, כרוכים זה בזה, בפילוסופיה של המעריך, ובמספר שאלות אתיות, ואינם מקלים על הבהרת תהליך ההערכה. הגורמים המשמעותיים ביותר לחוסר הבהירות, שמעוררים את 6

הבעיות האתיות והפרקטיות הרבות ביותר, (כפי שגם ניתן לראות מדוגמאותיו של סטייק), בשאלות, מי הוא הקליינט של פעולת ההערכה, ומהן הציפיות מהמעריכים. קשורים ניתן לנסח את השאלות סביב המשוב, כשאלה לגבי הגבולות של תהליך ההערכה, שאלה שמתחלקת לשלושה חלקים: א. את מי ההערכה משרתת; ב. את מה ההערכה משרתת; ג. כיצד היא משרתת. א. ב. ג. לפעולת ההערכה יש בדרך כלל בעלי עניין מגוונים. אם נלך על דרך ההרחבה, הרי שכל מי שיש לו נגיעה לפרויקט נתון: מממנים, יזמים, מנהלים, מפעילים ברמות שונות וקליינטים - יש להם עניין במה שיש להערכה להגיד. 1989).(Guba and Lincoln לבעלי העניין השונים יש ציפיות שונות מההערכה, ציפיות שמתבטאות באופן ובאופי המשוב. שימוש בהערכה לצורך פיקוח, דורש אופי שונה של משוב משימוש בהערכה לצורך עיצוב, או לצורך הגברת מוטיבציה, או לצורך קבלת החלטות לגבי המשך. (נבו 1989, עמ' 15). לעיתים קרובות מצופה צוות ההערכה לענות על כל הנ"ל. האם ההערכה רק מתבוננת ומדווחת בדיעבד, או שמא מעצבת? האם דיווח לצורך קבלת החלטות איננו התערבות? (הריהו משפיע), ומה משמעות 'עיצוב'? האם מותר לצוות ההערכה להתערב בתהליכים של הפרויקט? ועד כמה? מהם הגבולות שבין עבודת המעריכים ועבודת צוות הפרויקט? מהם גבולות ההשפעה המותרים של צוות ההערכה? השאלות האלה הן שאלות אתיות ופרקטיות חשובות, כאשר לתשובות לשאלות האלה, יש השלכות על מבנה פעולת ההערכה ועוד יותר על אופי המשוב. ההחלטה מי הוא הלקוח המרכזי, ואיך על צוות ההערכה להתייחס לבעלי העניין האחרים, על אילו מהציפיות ההערכה עונה ועל אילו לא, מתי מותר להתערב ואיך, ומתי לא - על השאלות האלה חשוב לתת תשובות מראש, כחלק מחוזה העבודה. חשוב שלכל הנוגעים בדבר יהיה ברור מראש, מה מוערך, לאיזה צורך, ולמי מועבר איזה סוג של משוב. שאלה כזו שנותרת פתוחה היא מקור לבעיות. כל שינוי בהתייחסות לבעלי העניין השונים, או בקשר שלהם לפעולת ההערכה, לציפיות ולתפקידים השונים, או לגבולות של פעולת ההערכה, גוררת בעקבותיה חלקי משוב שונים שבנויים אחרת, ועוסקים בנושאים אחרים. כל סיכול של ציפיות, הן בקרב בעלי העניין בפרויקט, והן בקרב צוות ההערכה, עלול לפגוע בזרימה של תהליך המשוב. ניגודי ציפיות, הגדרת תפקיד לא ברורה, הם מקור אין-סופי של מתחים. לא הכל ניתן לצפות מראש. לא כולם מבינים מראש מה המשמעות של הדברים שהוגדרו מראש, בעיקר אם לא התנסו בהערכה קודם לכן. לאנשים שונים תפישות שונות לגבי מהות ההערכה, ואיך עליה להיעשות. כל אלה יוצרים מתחים בתהליך ההמשכי של ההערכה. לכן חשובה הבהרת החוזה מדי פעם מחדש, ככלי להבהיר את הבעיות בכל פעם שהן עולות. הדיון מחדש בחוזה של ההערכה, מחדד את הגדרת תפקיד ההערכה, גם לאנשי ההערכה וגם לצוות הפרויקט, ומהווה בעצמו - מכיוון שהוא פותח לדיון תפישות וחלוקות עבודה - חלק מתהליך המשוב. מכיוון שברוב המקרים יש להערכה יותר מתפקיד אחד, וברוב המקרים יש להערכה יותר מבעל עניין אחד, צריכים חלקי המשוב להיות מותאמים לבעלי העניין השונים. האחריות להתאמת המשוב, היא על המעריך. אין כאן "ירצו יאכלו, לא ירצו לא יאכלו". אם מטרת ההערכה, ורצונו של המעריך, להביא תועלת באמצעות המידע שנאסף על ידו, הוא חייב לדאוג לכך שהמידע יוכל להיות מנוצל. זהו הכלל הראשון בתהליך המשוב, משוב או דיווח צריכים להיות בנויים כך שהאדם או הגוף שאליו הם מיועדים, יוכל להפיק מהם תועלת, ועוד קודם לכן יוכל להתמודד איתם מבחינה רגשית, קוגניטיבית ומעשית. 7

ליכולת להתמודד עם משוב, למרביתן, כמיטב ניסיוני. מספר רמות שונות, הממדים אינם מוציאים וממצים, בהמשך אדון בכל אחד מהשלבים שהזכרתי, שקשורות למאפיינים שונים של המשוב. בגורמים השכיחים לבעיות, אנסה להתייחס לפיכך תתכן חפיפה מסוימת בין פרקי המשנה. ובפתרונות אפשריים. תוך כדי כך ארחיב גם לנושאים שנכונים גם כאשר אין בעיות, ושעשויים, להפוך את תהליך המשוב לזורם יותר וליעיל יותר. מוסרים משוב כיצד המשוב הוא תהליך ספירלי, המשכי 5 והדדי בין הפרויקט לבין המעריכים. אפשר להבין את התהליך של משוב כתהליך שיוזם, מקדם ותומך בלמידה ארגונית. ארג'יריס ושון (1978 Schön, (Argyris & מגדירים שתי רמות של למידה ארגונית: למידה חד מעגלית - למידה שנוצרת כאשר תהליך בקרה מזהה טעויות או בעיות בתהליך הביצוע, מגיב עליהן, והטעויות מתוקנות, ללא שינוי בנורמות הארגוניות או במטרות הארגון. על פי ארג'יריס ושון, תהליך זה יכול להיות מוגדר כלמידה רק כאשר הוטמע בתוך הארגון הן ברמת הדימוי הארגוני שיש לחברי הארגון, והן כפרקטיקה ארגונית חדשה. ההטמעה היא משמעותית רק כאשר השינויים הפכו חלק מהארגון באופן כה שלם, עד שחברים חדשים בארגון, בתהליך הסוציאליזציה שלהם לארגון, לומדים אותם כחלק בלתי נפרד מהארגון. זו בעצם המשמעות של 'ידע ארגוני', בשונה מידע של חברים בארגון, שאינו חלק מהפרקטיקה הארגונית השוטפת או מדימוי הארגון בעיני חבריו. למידה דו מעגלית - למידה שמחייבת לא רק שינוי תהליכים, אלא שינוי של התפישות הארגוניות ושל מטרות הארגון. המעגל כאן הוא כפול, מכיוון שהוא עוסק בו זמנית, ותוך הזנה הדדית, בשני מעגלי שינוי: האחד שינוי בתהליכי ביצוע, השני שינוי בתפישות ובמטרות הארגוניות. למידה דו-מעגלית מחייבת שתהיה בארגון יכולת של למידה ממעלה שנייה. כלומר שיהיה בארגון מטה-ידע לגבי למידה ארגונית, שמאפשרות למידה וחקירה. שמתורגם הן לדימויים הארגוניים, והן לפרוצדורות, המעריך יוזם למעשה תהליכים של למידה ארגונית חד-מעגלית ודו-מעגלית. שאינו מביא את הארגון להטמעת שינויים כל שיהפכו להיות חלק מהידע הארגוני, תהליך הערכה חסר. תהליך משוב שנעשה עם קהלים רבים בפרויקט, מאפשרים לידע החדש שנוצר בעקבות תהליך ההערכה להיטמע בארגון. לנורמות ולפעילות ארגונית, באווירה ציון שגיאות או טעויות בביצוע, חזרה על טענות, אין בו די, לתפישתי, על הסברים, וזהו כל אלה במקרים רבים צוות ההערכה נמצא במצב שבו הוא צריך ליצור למידה דו-מעגלית. שבו הפרויקט צריך לחשוב גם על התפישות שלו ומטרותיו. כאשר הם מנסים להתאים את עצמם למידה חד-מעגלית. מצב שנמצאים בו רוב הפרויקטים שפעלו בארץ עם אוכלוסיות דוברות עברית, לאוכלוסיות עולים שונות. ההתמודדות עם השאלה על משמעות השפה העברית בפרויקט, ההתמודדות עם השפה הבלתי מתאימה זו והאם עבודה בשפת ארץ המוצא עולה בקנה אחד עם רעיונות הפרויקט, האם יש התאמות נוספות שצריך לעשות, האם הפרויקט צריך להתאים את עצמו למערך בין-תרבותי, או רב-תרבותי - אלה שאלות של למידה דו-מעגלית. לעיתים קרובות אין פרויקטים בנויים לתהליך למידה ממעלה שנייה. תפקיד המעריכים כאן לזמן וליצור את היכולת הזו, על ידי יצירת הסביבה ללמידה כזו. באמצעות ישיבות חשיבה רבות עם צוותים, העלאת השאלות 8 5 חשוב שוב להדגיש שבמושג 'פרויקט' הכוונה לכל בעלי עניין שסביב פרויקט או תוכנית מסוימים. גם אם אלה המממנים או היזמים ולאו דווקא המפעילים עצמם. לגבי כל אחד מאלה, חשוב שהמסר שהמעריכים רוצים למסור - יעבור.

ה'קשות' ופתיחתן לדיון, הרחבת מעגלי השיח סביב שאלות אלה, כיוון הפרויקט לתהליכים משמעותיים מבחינת הלמידה הארגונית בשני מעגליה. מבחינה זו יכול תהליך המשוב להיחשב כאמצעי ללמידה ארגונית משמעותית. שלושה שלבים בתהליך שהם קריטיים: זהו תהליך מורכב, כאשר ישנם שלב המסירה - חשוב למסור את הדיווח באופן שלפרויקט תהיה יכולת ונכונות לקבל אותו. שלב הקבלה - חשוב למסור את הדיווח באופן שלפרויקט תהיה היכולת והנכונות להבין את המסר שמעבירה לו ההערכה. שלב ההמלצות ליישום - חשוב למסור את הדיווח באופן שלבעלי העניין בפרויקט תהיה היכולת והנכונות ליישם את מסקנות ההערכה. בכל אחד מהשלבים האלה יכול התהליך ההמשכי וההדדי של משוב להיתקע. ככלל, התהליך יהיה קל יותר לשני הצדדים, אם נבוא כמעריכים בגישה של כבוד אמיתי אל צוות הפרויקט. כדאי להזכיר לעצמנו כל הזמן שאנשי צוות הפרויקט הם שעושים את העבודה, אנחנו רק מתבוננים בה. גישה בסיסית של כבוד לעצם העשייה, בלי לוותר על הביקורת, מפחיתה את המתח הטבעי שנוצר בין הפועלים לבין המעריכים את הפעילות, ומאפשרת זרימה טובה יותר של המידע בתהליך ההדדי של המשוב. מעצור בשלב א ' - שלב מסירת המשוב באחד משעורי הערכת פרויקטים באוניברסיטה, הגעתי עם ערמה של עבודות ביד. הסטודנטים ידעו מניסיון העבר, שאין ציונים על העבודות רק דף מודפס עם הערות רחבות, לא שיפוטיות, לגבי מימדים שונים בעבודות. עם ערימת העבודות בידי, בקשתי מהסטודנטים לכתוב על דף את מה שהם מרגישים באותו רגע. הסטודנטים ציינו מתח, לחץ, עצבנות, קוצר רוח, סקרנות. רוב התגובות היו תגובות לא נעימות של לחץ. הסקרנות, היתה התגובה בעלת השכיחות הנמוכה ביותר. הסטודנטים היו מופתעים מהתמונה הכיתתית של תחושות שליליות, שנוצרה על ידם לנגד עיניהם. בקשתי מהם לזכור זאת, בכל פעם שהם עומדים לתת משוב מכל סוג שהוא. מעמד של קבלת משוב הוא מעמד מלחיץ. כך כאשר ברור מראש שהמשוב איננו שיפוטי, ואין לו השפעה על כלום (כמו בדוגמא לעיל), כך על אחת כמה וכמה כאשר לא ברור מה יהיה טיב המשוב, ואיזו השפעה יכולה להיות לו. וכפי שראינו בדוגמא הראשונה של סטייק, למשוב של הערכה יכולה לעיתים להיות השפעה של להיות או לחדול, עבור הפרויקט. לחץ הוא תנאי לא טוב לתקשורת. הוא גורם לאווירה להיות טעונה, הוא גורם לאנשים להיות מתגוננים, לא קשובים, לא פתוחים, ואפילו אגרסיביים. ואין זה משנה אם הדיווח הוא בכתב או בעל פה. לכן חשוב לפרוק את המוקש הזה מראש. התחלת פריקת המוקש היא ביצירת חוזה (בכתב או בעל-פה) על מהות תהליך ההערכה. ציפיות ברורות עומדות ביחס הפוך למתח, לכעסים ולתסכול. השאלות שנבדקות בהערכה צריכות להיות אלה שהתשובות להן עשויות להועיל למפעילי הפרויקט נוכחים או עתידיים, לבצע אותו טוב יותר, למקבלי ההחלטות לעשות את השינויים המתבקשים, ליזמים לעדן את תוכניותיהם. ההחלטה אילו שאלות הן רלוונטיות ואילו לא, במה כדאי להשקיע את משאבי ההערכה ובמה לא, נושאים אלה אפשר וכדאי שיהיו נתונים למשא ומתן בין המעריך לבין אנשי הפרויקט. משא ומתן כזה מפחית חששות, מעלה את הרלוונטיות של המשוב עבור אנשי הפרויקט, ובכך את נכונותם לקבל. 9

ממצאים שליליים כדאי להעביר טיפין טיפין מראש, לכל הנוגעים בדבר, על מנת למנוע הפתעה גדולה בעת קבלת המשוב הפורמלי. גם בכתיבה וגם בעל פה חשוב להימנע מטון של מטיפי מוסר, או של יודעי כל. גם ממצאים שליליים ובעיות אפשר וחשוב להציג כבעיה לפתרון ולא כהאשמה. הכנסת ממצא שלילי להקשר או אפילו להסבר, עושה אותו קל יותר לעיכול, גם אם לא מפחיתה מעוצמתו. אם אנחנו מוצאים כאוס ארגוני בפרויקט, ניתן לתאר את המצב החמור שכולל הגדרות תפקיד לא ברורות, מתחים, עניינים לא מטופלים, טיפול יתר בזוטות. זו תמונה קשה. אפשר להכניס אותה להקשר רחב יותר. לתאר את הצמיחה הגדולה בבת אחת שעבר הפרויקט, צמיחה שבאה כתגובה לשינוי בסביבה שבה הוא פועל, צמיחה מהירה מדי שלא איפשרה לו התארגנות טובה, ויצרה כאוס ארגוני, על כל משמעויותיו. הממצא אותו ממצא, המסקנות אותן מסקנות. ההקשר הרחב יותר, ההסבר לממצא הקשה - ממחיש לאנשי הפרויקט שיש כאן בעיה, שנוצרה מכל מיני סיבות ולא רק משום שהם נורא גרועים, ושבבעיה הזו צריך לטפל. יותר מזה, הבאת ההקשר יכולה לעזור לאנשי הפרויקט בטיפול במצב, במידה ואין ההקשר בהיר להם. במידה וההקשר בהיר לאנשי הפרויקט, העובדה שהוא מובא על ידי צוות ההערכה, ולא הם צריכים לתת את ההקשר, מצב שנתפש כהתנצלות על ממצאים - עושה את ההבדל בין פעולה לקראת פתרון בעיות לבין האשמה. חשוב למקם את פעילות ההערכה כתהליך ארגוני שמיועד ללמידה ולשיפור. כך ההערכה והפרויקט הם באותו צד של המתרס. אין כאן מלחמה בין שני צדדים יריבים. גם אם ההערכה מוזמנת מבחוץ, ואפילו אם לצורכי פיקוח, על המעריכים להימנע מלהיתפש כגורם חיצוני עוין, מרגל, מלשין וכו', ולשתף את הצוותים המוערכים בפעילותם ובממצאיהם. מטבע אופי תפקיד המעריך, אנו שמים לב יותר לבעיות מאשר להצלחות, או לדברים שפועלים היטב. דיווח שעוסק רק בבעיות, או בממצאים השליליים, מעוות למעשה את התמונה. צריך תמיד לזכור לתת מקום לדברים חיוביים ולהצלחות, וגם לדברים שזורמים חלק, ושנראים לעיתים מובנים מעליהם. עצם זה שהם זורמים, זו הצלחה של הפרויקט. למה להתעלם מזה? כדאי תמיד לפתוח בדברים החיוביים. לתת הרבה מקום למאמץ שהושקע ולהצלחות. ממצאים שליליים, גם אם הם מינוריים, מקבלים את מירב תשומת הלב של המוערכים. אין צורך לתת להם הבלטה מיוחדת. חשוב להיזהר ולא להיכנס למלחמות או להאשמות הדדיות. ללמוד להגיב ברמה העניינית ולהישאר שם. לעיתים קרובות שומעים פרץ של האשמות קשורות ולא קשורות (כמו בדוגמא של סטייק, ההתפרצות בועדת ההיגוי). במקרה כזה, הדרך הטובה ביותר לפרוק את המתח היא לקחת טענה אחת, שעוסקת בחומר עצמו, נניח: "יש המון אי דיוקים ועיוותים בדיווח על ", ולומר בענייניות וללא התרסה: "אי דיוקים צריך לתקן, בוא תגיד לי איזה אי דיוקים מצאת". ולרשום את מה שנאמר. ראשית יתכן שבאמת נפלו אי דיוקים, ואז באמת צריך לתקן. אם אנחנו בטוחים שהדיווח שלנו מדויק, אפשר לומר משהו כמו: "אנחנו מצאנו אחרת, אבל נבדוק זאת". ולחזור עם ממצאי הבדיקה, לאחר שנרגעו הרוחות. אם יש אווירה מתוחה או עוינת, אין טעם לפתח ויכוח במקום. בדרך כלל, אם צוות הפרויקט רואה שיש נכונות להתייחס לטענות הענייניות, הדיאלוג כולו הופך לענייני יותר. זה מחייב את צוות ההערכה להיות באמת נכון להקשיב. לשנות דברים שניתן (או צריך) לשנות. אם יש רגישות לניסוח מסוים, וניתן לשנותו בלי לשנות את המהות - למה לא לעשות זאת? אם הגדרה של מדריכות בפרויקט מסוים כ"פסיביות" נתפשת כמעליבה, ולצוות הפרויקט קל יותר לחיות עם "אינן מרבות לנקוט יוזמה", אפשר לעשות את השינוי, מכיוון שאינו משנה שום דבר במהות. ברוב המקרים אפשר להגיע לניסוח ששני הצדדים 10

מסכימים עליו. ההסכמה של צוות ההערכה לשינויים מסוג זה, לדבר, ושלא מדובר בגוף עוין. יוצרת בצוות הפרויקט תחושה שיש עם מי מבחינת מינוחים כדאי להימנע ממינוחים כמו "הצלחה - כישלון", "חיובי - שלילי". עדיף להשתמש בתיאורים ולא בשיפוטים. "הילדים התעסקו בכל מיני דברים שלא קשורים לפעילות המתוכננת. למדריכים היה קשה לעניין אותם בפעילות", עדיף על "נכשל הניסיון לעניין את הילדים בנושא הפעילות". המסקנה משני המשפטים זהה. ברור שהפעילות לא זורמת ושצריך לשנות דברים. הטון בשני המקרים שונה. בכל מקרה, חשוב מאד לגבות כל טענה בדוגמאות רבות ככל האפשר (או בממצאים מספריים). תחושות בטן שלנו, יתכן והן צודקות מאד, אבל הן דורשות אישוש מנתונים וממצאים מהשטח. אי אפשר למסור 'data free,evaluation' (הערכה נקייה מנתונים), ולצפות שיתייחסו אלינו ברצינות. מניסיוני, אם הדיון עולה לטונים גבוהים, לא כדאי להגיב במקום לטענות אישיות ("גזענות", "התנשאות"), אלא אם כן יש חריגה בלתי סבירה. כאשר הרוחות נרגעות בדרך כלל יש התנצלות על אמירות ברמה האישית, ואם אין, אפשר לדרוש אותה. ויכוח על רמת הגזענות של המעריכים, לא יוביל לשום מקום אלא לפיצוץ. אפשר לשקף את הכעס, ולעזור למוערכים לברר את מקורותיו. "אני רואה שאתם נורא כועסים, נסו להסביר לי מה מכעיס אתכם?, נסו למקד את הגורם לכעס". לעיתים קרובות מנסים מוערכים פגועים, ליצור פיחות ברמת המקצועיות של המעריכים, או ביכולת ההבנה שלהם את מה שמתרחש בפרויקט. הכוונה איננה לפגוע במעריכים, אלא להקטין את חשיבות המסר המועבר. גם כאן ויכוח אמוציונאלי לא עוזר. מעריך שצועק במלוא גרון: "אתה אומר לי שאני לא מקצועי!?, אני כבר מעריך עשר שנים, פרויקטים פי עשר מורכבים, הפרויקט שלך קטן עלי!", גם נראה מגוחך, וגם אינו מגיב באופן מקצועי או יעיל, מכיוון שזה ויכוח שאינו מוביל לשום מקום. המטרה שלנו כמעריכים איננה להגן על כבודנו האישי האבוד, אלא להעביר מסר או מידע. דו"ח בכתב, שהוא חלק ממשוב, כדאי שייכתב בתהליך של דיאלוג עם המוערכים. חשוב לתת טיוטה לדיון לצוות המוביל, או לבעל העניין הרלוונטי, ולהתדיין עליה דיון אמיתי, גם אם, או אפילו בעיקר, אם הדו"ח אמור לצאת לגוף חיצוני. עצם האפשרות לדיון על הדו"ח, מקטינה את המתח סביבו. יתרה מזו, גם אם לא נשנה מילה בדו"ח בעקבות הדיון, יש לדיון עצמו חשיבות מאד גדולה, לשני הצדדים. צוות ההערכה יכול ללמוד על רגישויות ותפישות בצוות הפרויקט, ולקבל אינפורמציה נוספת שלא היתה ברשותו, ואילו צוות הפרויקט מקבל דיווח על מצב העניינים ואיך הם נראים על ידי גוף חיצוני. במקרים מסוימים כדאי לכתוב דו"חות שונים בהיקפם ובנושאיהם, עבור בעלי עניין שונים של ההערכה. למשל, ניתוח של הגורמים ליחסים עכורים בצוות, לא בהכרח מעניין את המממנים, אבל חשוב מאד לצוות עצמו. לא כל ממצאי ההערכה חשובים לכל בעלי העניין. ידיעה של צוות הפרויקט שהחלק בדו"ח שמנתח את יחסיהם לא ייחשף לכל העולם, ידיעה של בעלי עניין שונים שהממצאים שנוגעים רק להם, לא יהיו נחלת הכלל, מקלה על המתח שנוצר סביב המשוב. כמובן שמדובר פה בממצאים שעוסקים בתהליכים בפרויקט. ממצאים לגבי מידת השגת מטרות, שהן סיבת קיום הפרויקט, הם רכוש הכלל - תמיד. כאשר המנדט שלנו הוא להערכה מעצבת, כלומר נדרשות מאתנו תגובות שוטפות תוך כדי תהליך, ואנו מזהים בעיה, כדאי לשוחח עליה עם הנוגעים בדבר. לא כל שיחה חייבת להיות 'שיחת משוב' פורמלית. לעתים ניתן להשיג הרבה יותר בשיחה לא פורמלית, שמעבירה את המסר על הלקויות. בשיחה כזו גם הקשב רב יותר, וההתגוננות פחותה. 11

דרך טובה לשקף ליקויים בלי ליצור איום, היא באמצעות שאלות לא שיפוטיות, שמבקשות מהמוערך תיאור, כך שהמוערכים עצמם יתנו את התשובות. אם למשל אנחנו רואים מיעוט משתתפים בפעילות מסוימת, אפשר לשאול: "האם כמות משתתפים כזו נחשבת טובה?", או בעקיפין: "כמה אנשים היה צפוי שיבואו?", ולא "למה באו מעט אנשים?". שהמוערך יגדיר שזה 'מעט', לא אנחנו. גם אם אנחנו יודעים שאכן מדובר במעט. (ולא תמיד אנו יודעים. יתכן שזה המקסימום שאפשר לצפות מקהל יעד מסוים). בפרויקט לעולים שעבד במקביל עם הורים וילדים, ראינו שאין מעקב אחר נוכחות ההורים בפגישות, ולכן גם אין טיפול או התייחסות להורים שלא מגיעים, והם למעשה נשמטים מהפרויקט. במקרה כזה יש למעריך שלוש אפשרויות פעולה. 1. לדווח לממונים על מפעילי התוכנית (או למממנים, או לכל בעל עניין אחראי אחר). 2. לומר למפעילי התוכנית שזה לא בסדר שאין מעקב. 3. לשאול את המפעילים: "כיצד עוקבים אחרי הנוכחות של האנשים?" במקרה הראשון, עברה השליטה לטיפול בנושא לידי בעל עניין אחראי. הוא יכול לטפל בעניין או שלא לטפל בו. הוא יכול לטפל בו נכון, או לא נכון. הוא יכול ליצור מתח ואי נעימות. בכל מקרה, השליטה בהתפתחות העניינים כבר אינה בידינו, וגם עלול להיווצר נזק של משבר אמון. במקרה השני, קביעה שלנו ש"אין דיווח, וזה לא טוב", שמה את המוערך בעמדה של מותקף, ואדם מותקף מתגונן. ברוב המקרים לא נשיג דבר. במקרה השלישי, סביר שהתשובה לשאלה תהיה שאין דיווח. תשובה זו תבוא כאינפורמציה מהמפעיל עצמו, ולא כקביעה או ביקורת שלנו. מכאן נוכל להמשיך ולשאול מה קורה עם הורים שלא מגיעים? או איך יודעים אם הורים נשרו מהפעילות?. במצב זה המפעיל עצמו יגיע בדרך כלל למסקנה שנחוץ מעקב, וסביר שגם יפעל לפיה. בתהליך פורמלי יותר, עדיף לערוך מספר שיחות משוב מצומצמות, מוגדרות הן על פי נושא, והן על פי קהל יעד, כאשר המשתתפים בישיבה הם רק אותם אנשים הנוגעים לנושא הנדון. במצב כזה המשתתפים חשים פחות צורך להתגונן, והם קשובים יותר. ישנם מצבים שקשה מאד למסור משוב. הצוות תמיד 'עסוק', והתחושה היא שאין ממש עניין במה שיש להערכה להגיד (או שיש רמה גבוהה של חרדה ושל התגוננות). במצבים כאלה, כדאי להעלות את הממצאים על הכתב, ולהפיץ אותם בקרב הנוגעים בדבר. דו"ח כתוב בלתי צפוי, בדרך כלל עושה מהומה (מעורר כעסים ותגובות של לחץ). לכן חשוב לשקול היטב מראש אם רוצים להשתמש בדרך הזו, ואם אנחנו בטוחים שנדע להפוך את המהומה והכעסים לתהליך של הקשבה הדדית. מעצור בשלב ב ' - שלב הקבלה לאחר שהבהרנו את החוזה, פרקנו את ההתנגדויות, והכנסנו את תהליך איסוף המידע ומסירת המשוב לתהליך זורם פחות או יותר, הגיע הזמן לחשוב על תכונות המשוב שהופכות אותו יעיל לבעלי העניין השונים שבפרויקט. יעיל משמעותו שלפרויקט יש יכולת לעשות שימוש במשוב, מכיוון שממצאיו רלוונטיים עבורו. על מנת שמשוב יהיה בר שימוש הוא צריך לעמוד במספר תנאים: מיידיות - המשוב, כדאי שיהיה מיידי, או לפחות בתוך פרק זמן שמאפשר את לימוד הממצאים והמסקנות, ויצירת או תכנון שינוי. אחרי תקופה ארוכה מדי, לא יוכל המשוב להביא תועלת לאותם עושי החלטות או 12

מבצעים אליהם כוון. גם כאשר מדובר בהערכה מסכמת, שנעשית לאחר מעשה, כדאי שמסקנותיה יגיעו בזמן לתכנונים עתידיים. פרטיקולריות - המשוב צריך להיות פרטיקולרי במובן של לתת תשובות העוסקות באופן ישיר בפרויקט בו מדובר. כלומר לדבר ישירות על המפעילים ועל הצרכנים ועל התוכניות של הפרויקט המדובר, ולא על מושגים מוכללים כלשהם. למשל: ילדי המושבים בבית הספר האזורי לא נטו לשחק עם ילדי הקיבוצים. הנימוק שנתנו לכך הילדים בשתי הקבוצות הוא שילדי הקבוצה השנייה הם סנובים. המשך הבדיקה ינסה להבין איזו משמעות נותנים הילדים למושג "סנוביות" ומה מקור התחושה. טענה מוכללת שאומרת למשל ש"פערים חברתיים- תרבותיים מסוג X, גורמים לניכור בין ילדים משתי הקבוצות", דורשת בדיקות נוספות, הגדרות אופרטיביות אחרות, ולא תמיד ברור מה התועלת המיידית שלה לפרויקט המסוים. במקרה הנוכחי הסתבר שמדובר ביריבות היסטורית עוד מאז העלייה לקרקע של הישובים. איתור הילדים הדומיננטיים בשתי הקבוצות, וטיפול ממוקד בהם תוך הסבר שמעשה אבות לא סימן לבנים, יעיל יותר לפתרון המתח שבין הקבוצות. שפה ומונחי הפרויקט - כלל חשוב במשוב או בדו"ח צריך להיות שפה שמובנת לבעלי העניין השונים בפרויקט. אנשי ההערכה הם אנשי מקצוע, בדרך כלל בתחומים שונים של מדעי החברה. הם אמונים על המושגים הנהוגים במדעי החברה, ועל המושגים הנהוגים בהערכה. אנשי הפרויקט יכולים לבוא מתחומי דעת שונים, ובחלק מהמקרים אינם בעלי השכלה אקדמאית. יתרה מזו, פרויקטים מפתחים לעצמם לעתים קרובות שפה משלהם, עולם מושגים משלהם, שפה ומושגים שאינם בהכרח חופפים את אלו המקובלים על אנשי ההערכה. במקרים רבים מושגי הפרויקט שונים מהמקובל באקדמיה. כאשר פרויקט מגדיר בין מטרותיו "להגביר את האוטונומיה של הקהילה", חשוב להבין מה הפרויקט מתכוון ב'אוטונומיה'. חשוב לראות אם התפישה הזו מקובלת בכל הרמות בפרויקט (שכן מטרה יעילה היא מטרה שיש עליה הסכמה), ולהשתמש במושג 'אוטונומיה' באופן שהפרויקט מגדיר לעצמו. אין צורך להתחיל להילחם בפרויקט ולשנות את עולם מושגיו, רק מכיוון שאנחנו למדנו הגדרה אחרת באוניברסיטה (במיוחד כשלרוב המושגים יש יותר מהגדרה אחת). משוב או דיווח שכתוב בשפה אקדמית המוכרת רק ליודעי ח"ן, ושאיננה מובנת לקוראים, איננו יעיל. השפה צריכה להיות בהירה, מנוסחת באופן שיהיה מובן לקוראים, וכאמור רצוי להשתמש בשפה ובמושגים שבהם משתמשים אנשי הפרויקט. תשובות המנוסחות בצורה של חוקים מוכללים, ובשפה מדעית המורכבת ממושגים מופשטים, היא במקרים רבים חסרת תועלת למקבלי החלטות או למבצעים בשטח, מה עוד שאינה תמיד מובנת למי שאינם אנשי מדע. מסקנה כמו: "בתוכנית 'כוח לבריאות' של פרויקט 'קהילה וחברה' מצליחות המדריכות האתיופיות יותר מהמדריכות שאינן אתיופיות, ללמד נשים אתיופיות להשתמש באמצעי מניעה, מכיוון שהן דוברות את שפת הנשים, ומבינות את הקודים התרבותיים שלהן" עדיפה על "סוכני שינוי מקרב הקהילה המטופלת יעילים יותר בהחדרת שינוי בהרגלי האישות". דבר זה נכון לגבי כל הגישות להערכה, מסכמות ומעצבות, הערכות תוצר והערכות תהליך. ישנם מצבים שבהם אנחנו רוצים להנחיל לפרויקט מושגים משלנו. בעיקר כאשר אנו רוצים לשכנע בהסבר שלנו למה שקורה או ליצור הגדרה שונה של הסיטואציה.(re-framing) בפרויקט שעסק בהחדרת טכנולוגיה חדשה למערכת החינוך, נערכה הכשרה ארוכה למורים. ההכשרה היתה מאד קונקרטית, ועסקה בלמידת פרוצדורות. כתוצאה מכך היה למורים בכתות קושי להתמודד עם בעיות שלגביהן לא היו להם פתרונות מוכנים. להערכת 13

צוות ההערכה היה צורך לשנות את תכני ההכשרה, ולתת למורים ידע רחב יותר, "מטה-ידע", שיאפשר להם גמישות, ושימוש בידע רחב לפתרון בעיות, במקום הפרוצדורות הקונקרטיות, שמקשות על חריגה מהן. על מנת להציע את השינוי למפעילי ההכשרה, היה צורך להקנות להם את המושגים של 'מטה-ידע' והשוני המהותי בינו לבין למידת פרוצדורות. ואכן, משהובן ההבדל, הצליחו מתכנני ההכשרה לבנות הכשרה שמקנה תכנים רחבים, ובכך לפתור חלק ניכר מהמצוקה של המורים. לפעמים משמעות מושג חדש כזה, היא ניסוח מחדש של חלקים בעקרונות הפעולה של הפרויקט (למידה ד- מעגלית). בפרויקט קהילתי, היה אחד מעקרונות ההפעלה, לעבוד בקהילה רק באמצעות סוכני שינוי מקרב הקהילה. החלטה שלא תמיד נשאה חן מכיוון שהיה בה ריח של סגרגציה. בדיון ארוך עם היזמים על הנושא, עלתה הצעה להגדיר שתי מומחיויות: מומחיות בתחום שבו עוסק הפרויקט, ומומחיות בנוהגי הקהילה ובתרבותה. ההצעה התקבלה. וכך, כמו בכל הגדרת תפקיד, ניתן משקל לכל אחת מהמומחיויות, כמו גם לכישורים אחרים שנדרשו לצורך מילוי התפקיד. ההגדרה המחודשת הזו, העלתה למודעות את הצורך האמיתי במומחיות התרבותית, ופתחה אותו לדיון מחודש. הסתבר שלא בכל פעילות המומחיות התרבותית חשובה. נעשו הגדרות תפקיד חדשות לפעילויות השונות, כאשר לגבי כל תפקיד הוחלט מה מידת החשיבות של המומחיות בתרבות לעומת כישורים אחרים. למעשה חל פה שינוי גדול בחשיבה ובתפישה של מה שהיה לפני כן אחד העקרונות המנחים של הפרויקט. מעצור בשלב ג ' - שלב ההמלצות ליישום שיפוט הממצאים: לא ניתן לדבר על יישומיות המשוב מבלי להתייחס לחלק ההערכתי-שפיטתי של ההערכה. הערכה, ככלי עזר לעושי החלטות, אינה יכולה וגם אינה צריכה להימנע מהמלצות, גם מהמלצות ערכיות. ההיסטוריה של ההערכה מראה לנו, שמהות צמיחת הדיסציפלינה הזו בצורך שהיה (ועדין) קיים אצל המתערבים לפירוש ולשיפוט של הממצאים. זהו גם מקור שמה - הערכה. הועדה המשותפת Committee) (Joint שישבה על מדוכת ההערכה בסוף שנות השבעים הדגישה בהגדרתה את מהות ההערכה את חשיבות ההחלטה על הערך או השווי של האובייקט המוערך. (1981 Committee, ). Joint כעשור קודם לכן טען כך סקריוון (1967). כמעט בכל אופי של פעולת הערכה, יש צורך בהפעלת יכולת השיפוט של המעריך. אפילו בהערכה מסכמת המתמקדת בהערכת תוצר בלבד (מידת השגתן של מטרות), יש לעיתים קרובות צורך בשיפוט האם מידת השגת המטרה משמעותית או לא. (1992.(Mor על אחת כמה וכמה בגישות הקונסטרוקטיביסטיות או המעצבות הנפוצות היום, גישות הפותחות לדיון את ערכן של המטרות, את ערכו של הפרויקט ואת משמעותם של הנזקים או ההפסדים שעלולים להיגרם בעטיו. טבלאות מלאות מספרים, או תיאורים גדושים, ללא פרוש ופרשנות - אינן הערכה ראויה. לפיכך תהליך הערכה הכולל איסוף מידע בלבד, ללא התייחסות למשמעותו, ללא המלצות, או לפחות הצגת האופציות השונות ועזרה בבחירה ביניהן נראה לכותבים רבים בלתי אפשרי ובלתי רצוי (לוין-רוזליס 1987, נבו Scriven 1983,Stake 1969,Joint Committee 1981 Scriven 1967,1992.(Lincoln & Guba 1986, Scriven 1972, Cordray 1986, 14

באותו שעור בהערכת פרויקטים שכבר ספרתי עליו, בקשתי מהסטודנטים לרשום מה הדבר הראשון שחפשו בדפי המשוב שקבלו לעבודותיהם. התשובה הכללית היתה: "את השורה התחתונה", "את המסקנות הכוללות", "את ה'ציון' (במרכאות, מכיוון שידעו שאין ציון)". חשוב שלכל משוב, תהיה שורה תחתונה ברורה, ובדרך כלל גם כדאי לפתוח בה. ככל שהפרויקטים שאנו עוסקים בהם מורכבים יותר, ורב מימדיים יותר, כך גם ממצאינו הופכים להיות מורכבים יותר. לעיתים מרוב עצים קשה לראות את היער. שאלת הערכה: "האם מדריכות יוצאות קווקז יעילות יותר בהדרכת בני העדה ממדריכות שאינן בנות העדה?" "התשובה מורכבת: יש דברים שבהם הן מוצלחות יותר, מכיוון שהן מכירות את הקודים התרבותיים ואת השפה, מצד שני הן מכירות פחות טוב את הנושאים שאותם הן צריכות להדריך. הן יודעות איך לגשת למשפחות, אם כי יש דברים שבהם הן מוצלחות פחות, הן מכירות פחות טוב מושגים פורמליים. יש משמעות סגרגטיבית להעסקת בנות העדה בתוך העדה, מצד שני הסגרגציה חשובה בשביל לקדם את העדה. יש בעיות של סטטוס של נשים, בעיקר צעירות, אבל יש חשיבות להחדרת מושגי סטטוס הישגי לאנשי העדה. העבודה מקדמת את הצעירות ומאפשרת להן לעבוד." "אז מה בעצם אתם אומרים?", "מדריכות יוצאות קווקז זה טוב או רע?". חשוב מאד להדגיש את האמירות שלנו. לומר אותן ברור. לא לתת להן לטבוע בים של הסברים, הסתייגויות והסתייגויות שכנגד. כאשר, כמו בדוגמה לעיל, התמונה אכן מורכבת וקשה להכריע, חשוב להעמיד אחד מול השני יתרונות וחסרונות רלוונטיים של כל בחירה, ובכך לעזור לצוות הפרויקט לעשות את שיקוליו: "המדריכות יוצאות קווקז ושאינן יוצאות קווקז נבדלות זו מזו בכישוריהן. יוצאות קווקז מכירות פחות מושגים פורמליים, ואת החומר שעליהן להנחות, מצד שני המגע שלהן עם המשפחות קל יותר. על מנת ליעל את ההדרכה, אפשר לנסות להתאים מדריכות למשפחות. עבור משפחות שהעברית איננה שגורה על פיהן, ושהן יותר מסורתיות במנהגיהן, תתכן עדיפות למדריכות יוצאות קווקז. במשפחות דוברות עברית ופחות מסורתיות במנהגיהן, תתכן עדיפות למדריכות שאינן יוצאות קווקז. ישנה בעיה של דימוי סגרגטיבי, שההבחנה המוצעת נותנת לה פתרון, וגם מאפשרת לתת מענה לבעיות ייחודיות. אפשר לבחון היטב היכן ההפרדה נחוצה והיכן לא (למשל בהשתלמויות צוות, אולי אין צורך בהפרדה), להרבות בהסברה, ולנסות לוותר על פעילות נפרדת, היכן שניתן." גם אם התמונה היא מורכבת, אפשר להגדיר ממצא עיקרי בשני משפטים, ולהרחיב את האמירה אחר כך. "בסך הכל התוכנית פעלה יפה. ההשתתפות היתה רבה, וההורים והילדים היו מרוצים. היה קושי בהעברת התכנים שתוכננו, והועברו פחות ממחצית התכנים". מכאן ניתן לפתח הלאה, מה גרם לשביעות רצון, ולמה, מה עיכב את העברת התכנים, וכיצד ניתן להתגבר. אבל ראשית לכל, על אנשי הפרויקט להבין מה אנו אומרים להם. כפי שראינו בדוגמה - יש גם המלצות. המלצות הן חשובות, מכיוון שהן שמות את המעריכים בעמדה של משתתפים בניסיון למצוא פתרון, ולא של מבקרים. ההמלצות צריכות להיות מנוסחות כהצעה ולא כקביעה. בדוחות הערכה רבים אנו מוצאים משפטים שמתחילים ב" שי ". "יש לדאוג למקום רחב יותר". "יש להביא מדריכים יותר מיומנים". אפשר באמצעות הפעולה 'החלף' במעבד התמלילים, להחליף את כל ה" שי " ב"כדאי" ואפילו ב"אולי כדאי" או ב"כדאי לבחון". זה נעים יותר לאוזן ולעין, וגם צנוע יותר. 15

המלצות שצריכות להיות כתובות בדו"ח חיצוני, כדאי לכתוב בדיאלוג עם המבצעים. יתכן שיש סיבות טובות למה דברים לא נעשים. אולי לא כל המלצותינו ישימות. זאת מצד אחד. מצד שני, יש סיכוי רב יותר שהמלצות שמקובלות על המבצעים, תתבצענה. הכי חשוב - לבחון את ישימות ההמלצות שלנו, ולהציג אותן באופן הכי אופרטיבי שאפשר. "יש לשנות את שיטת ההנחיה", אינה המלצה שמועילה לאיש. "ההנחיה הקיימת היא ברמה תיאורטית גבוהה מדי, ואינה מתחברת לבעיות היום יום של המדריכים. כדאי אולי לשקול לצאת מנושאים ובעיות שהמדריכים מעלים, ולפתח את הדיון סביבם." - זו המלצה ישימה הרבה יותר. דווו""""ו כתובים חות למילה הכתובה כוח גדול. גם אם אין בדרישות מהמעריכים דיווחים בכתב, (ולעתים, בעיקר כשמדובר בהערכה מעצבת אין דרישה כזו), חשוב לתת דוחות כתובים. הדו"ח הכתוב מכריח את המעריכים לארגן את המידע שבידם באופן מובנה יותר ומושכל יותר משדורש זאת דיווח בעל פה, ובכך תורם לרמת העבודה שלהם. עצם כתיבת הדו"ח מדגישה עבור צוות ההערכה היכן חסרים לו נתונים, ואילו נתונים חסרים. מבחינת איכות העבודה של המעריכים, יש בכתיבת דו"ח דרישה מקצועית גבוהה יותר, שמעלה את רמת עבודתם. מבחינת צוות הפרויקט, קריאה של תמונה כוללת ומרוכזת, יש בה עוצמה שאין בשום צורת דיווח אחרת. לדו"ח כתוב אפשר לחזור, לקרוא מחדש קטעים חשובים, לדון עליו בהמשכים. בקיצור, הוא כלי יעיל לעבודה המשכית על ממצאי ההערכה. חשוב שלקורא תהיה יכולת להבחין בין ממצאים, פרשנות והמלצות. שימוש במספרים ובנתונים לא התרשמותיים, חשוב להגברת האמינות. אפשר וחשוב ללוות את הטקסט בטבלאות ואיורים. חשוב שיהיו פשוטים, בהירים, ושיוסיפו משהו על הטקסט הכתוב. עומס יתר אינו מועיל. חושב לזכור שאיננו עורכים לקוראים מבחן בהבנת הנקרא. אם מה שכתוב לא ברור - זו האחריות שלנו. חשוב לא לכתוב בטון ביקורתי. כל מה שנאמר עד לכאן - נכון גם בדו"ח הכתוב. אינני רוצה להיכנס למבנה של דו"ח הערכה. זה נושא בפני עצמו. רק כמה הערות: לדו"ח כתוב חשוב שיהיה מבנה שברור לקורא. כדאי לכתוב פרק שמסביר את מבנה הדו"ח, והיכן בדו"ח אפשר למצוא סוגים שונים של מידע. חשוב גם תוכן עניינים. ישנם חלקים בדו"ח שלא ניתן לוותר עליהם: הצגת הפרויקט או התוכנית, לקורא שאינו מכיר. הצגת ההערכה: צוות, שיטות, מנדט, שאלות ההערכה. ממצאים גולמיים, עוד טרם הפרשנות שלנו. כמובן ההבנות שלנו וההמלצות הנובעות..II מניסיוני כדאי שהדו"ח יכלול ממצאים בשלושה פרקים: I. המטרות ומידת השגתן. תהליך הביצוע של הפרויקט או התוכנית..III הבנות מוכללות שנובעות ממספר ממצאים שונים לגבי נושאים רחבים יותר, או לגבי שאלות הערכה כלליות. (קשרים בין-תרבותיים, למשל, ומה נלמד לגביהם בפרויקט נתון, זו דוגמא לנושא כזה. תיאור ההשפעה של שינויים שחלים בפרויקט על כל היבטי הפרויקט, החל ממידת השגת המטרות, והדרכים להשגתן, דרך הגדרות התפקיד, יחסים אישיים ותפקידיים שמשתנים, אופני תקשורת פנים וחוץ ארגונית, וכולי, זו דוגמא נוספת. אלו נושאים שאינם קשורים דווקא למטרה כזו או אחרת, אבל הם נותנים רמה נוספת של הבנה). 16

פרק ששווה התייחסות בפני עצמו הוא 'דו"ח מנהלים' או 'תקציר מנהלים'. זהו פרק שנכתב במיוחד למי שצריך לדעת, אבל אין לו זמן לקרוא. את הפרק הזה צריך לתפור במיוחד. הוא איננו סתם תקציר של הדו"ח. הפרק צריך לעמוד בפני עצמו, להכיל את עיקרי הממצאים, את המסקנות העיקריות, ואת ההמלצות, ולא לאפשר פרשנות מוטעה בגלל מחסור במידע. הוא חייב להיות כתוב בפשטות. לעיתים על חשבון עומק. פרטי מידע מפורט, שחשוב למי שיש לו מגע שוטף עם הפרויקט - אינם חשובים כאן, וגם חלק מההבנות הפרטניות שלנו לגבי חלקים משניים בפעולת הפרויקט, אינם צריכים להיכלל. אפשר לציין שמידע נוסף לגבי נושאים מסוימים, נמצא בגוף הדו"ח, וכן התייחסות לנושאים נוספים. אם זה מעניין - יחפשו אותם שם. לסיכום מסירת דיווח, מתן משוב, כתיבת דו"ח, זו מיומנות לא פשוטה שדורשת בנוסף לכישורים אקדמיים כישורים אנושיים מסוימים, ושקשורה קשר בל ינתק לתפישת העבודה של המעריך. ניסיתי בפרק זה לתת את השקפת עולמי המקצועית לגבי מהות ההערכה ותפקיד המשוב בתוכה, יחד עם מספר טיפים מניסיוני לגבי אותם חלקים שאינם חלקים אקדמיים. לא כל מה שכתוב כאן, ניתן תמיד לביצוע. ישנם הרבה גורמים מתערבים שאינם תמיד בשליטתנו. אבל אם הצלחתי להעביר את התפישה של משוב כפעולה הדדית שבין פרויקט לצוות ההערכה, שהיא באחריות צוות ההערכה, דייני. מקורות רשימת ב ל כ ר, ז ' ) 7 ( 1 9 8. פ י ל ו ס ו פ י ה ש ל ה מ ד ע. ה ב ט ח ו ן ה ה ו צ א ה ל א ו ר. א ו נ י ב ר ס י ט ה מ ש ו ד ר ת, מ ש ר ד ל ו י ן - ר ו ז ל י ס, מ ' ) 7 ( 1 9 8. ת ה ל י ך ל ב ד י ק ה ח ל ק י ת ש ל ש י נ ו י ה נ ו צ ר ב ע ק ב ו ת ה ת ע ר ב ו ת ב ק ה י ל ה. ע ב ו ד ה ל ש ם ק ב ל ת ת ו א ר מ ו ס מ ך ב מ ד ע י ה ח ב ר ה ו ה ר ו ח. ל ו י ן - ר ו ז ל י ס, נ ב ו. מ '. ) 8 ( 1 9 9.. ( 1 9 8 9 ) ד ' נ ח מ י א ס, ע ו ב ד, ד ' ת ל - א ב י ב. ה ה ב ד ל י ם ב י ן ה ע ר כ ה ל ב י ן מ ח ק ר. ה ע ר כ ה ה מ ב י א ה ת ו ע ל ת. ו נ ח מ י א ס,. ( 1 9 8 2 ) ח ' ה ו צ א ת מ ס ד ה, מ ג מ ו ת ת ל - א ב י ב. ש י ט ו ת מ ח ק ר ב מ ד ע י ה ח ב ר ה. ע ם - ה ו צ '. ( 1 9 8 4 ) פ ר ס, י ' א ק ד מ ו ן, ו י צ י ב, ג ' י ר ו ש ל י ם. מ ב ו א ל ש י ט ו ת מ ח ק ר ב מ ד ע י ה ה ת נ ה ג ו ת, ה ו צ א ת A b m a, T. A., ( 1 9 9 7 ), P l a y i n g w i t h / i n p l u r a l i t y. R e v i t a l i z i n g r e a l i t i e s a n d r e l a t i o n s h i p s i n R o t t e r d a m. E v a l u a t i o n. 3 ( 1 ) 2 5-4 8. S a g e P u b l i c a t i o n. L o n d o n. A r g y r i s, C., S c h ö n D. A., ( 1 9 7 8 ). O r g a n i z a t i o n a l l e a r n i n g : A t h e o r y o f a c t i o n p e r s p e c t i v e. R e a d i n g M a s s a c h u s e t t s : A d d i s o n - W e s l e y P u b l i s h i n g C o m p a n y. C a w s, P. ( 1 9 6 5 ). T h e P h i l o s o p h y o f S c i e n c e, P r i n s t o n, D. V a n N o s t r a n d C o. C o p i, I. M., ( 1 9 6 1 ). I n t r o d u c t i o n t o L o g i c. T h e M c m i l l a n C o m p a n y. 17

C o r d r a y, D. S., ( 1 9 8 6 ). Q u a s i - E x p e r i m e n t a l a n a l y s i s : A M i x t u r e o f M e t h o d s a n d J u d g m e n t. N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n, 3 1 9-2 8. D r e w e t t, A. ( 1 9 9 7 ), E v a l u a t i o n a n d c o n s u l a t i o n, L e a r n i n g t h e l e s s o n s o f u s e r i n v o l v m e n t. E v a l u a t i o n. 3 ( 2 ) 1 8 9-2 0 4. S a g e P u b l i c a t i o n s, L o n d o n. E y k e n, W. V., G o u l d e n, D., C r o s s l e y, M., ( 1 9 9 5 ). E v a l u a t i n g E d u c a t i o n a l R e f o r m i n a S m a l l S t a t e : A C a s e S t u d y o f B e l i z e, C e n t r a l A m e r i c a. E v a l u a t i o n, 1 ( 1 ), S a g e P u b l i c a t i o n. F i n n e, H., L e v i n, M., N i l s s e n, T., ( 1 9 9 5 ). T r a i l i n g R e s e a r c h : A M o d e l f o r U s f u l P r o g r a m E v a l u a t i o n. E v a l u a t i o n, 1 ( 1 ), S a g e P u b l i c a t i o n. J o i n t C o m m i t e e o n S t a n d a r d s f o r E d u c a t i o n a l E v a l u a t i o n, ( 1 9 8 1 ). S t a n d a r d s f o r E v a l u a t i o n s o f E d u c a t i o n a l P r o g r a m s, P r o j e c t s a n d M a t e r i a l s. N e w Y o r k : M c G r e w - H i l l K a z i, M. A. F., ( 1 9 9 6 ). S i n g l e - C a s e E v a l u a t i o n i n t h e P u b l i c S e c t o r U s i n g A C o m b i n a t i o n o f A p p r o a c h e s. E v a l u a t i o n. 2 ( 1 ), S a g e P u b l i c a t i o n. K e r l i n g e r, F. N. ( 1 9 7 2 ). F o u n d a t i o n s o f b e h a v i o r a l r e s e a r c h. N e w - Y o r k : H o l t, R i n h a r t & W i n s t o n. K u h n, H. ( 1 9 6 2 ). T h e S t r u c t u r e o f S c i e n t i f i c R e v o l u t i o n s. C h i c a g o : U n i v e r s i y u o f C h i c a g o P r e s s. G u b a, E. G, a n d Y. S. L i n c o l n, ( 1 9 8 9 ). F o r t h G e n e r a t i o n E v a l u a t i o n. L o n d o n : S a g e. H e m p e l, C. G., ( 1 9 6 5 ). A s p e c t s o f S c i e n t i f i c E x p l a n a t i o n a n d O t h e r E s s a y s t h e P h i l o s o p h y o f S c i e n c e. N e w - Y o r k, T h e F r e e P r e s s L i n c o l n, Y. S., G u b a, E. G., ( 1 9 8 6 ). B u t i s R i g o r o u s? T r u s t w o r t h i n e s s a n d A u t e n t i c i t y i n N a t u r a l i s t i c E v a l u a t i o n. N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n, j u n e, 7 3-8 1. M o r, Y. ( 1 9 9 2 ). T h e U s e o f G r e y D o c u m a n t a t i o n i n T h e C o m p r e h e n s i v e E v a l u a t i o n o f B r o a d l y - A i m e d S o c i a l P r o g r a m. P a p e r p r e s e n t e d a t t h e I n t e r n a t i o n a l E x p e r t M e e t i n g o n I n f o r m a t i o n a n d S o c i a l W e l f a r e P o l i c y a n d P l a n n i n g. N o v e m b e r 9 2, J e r u s a l e m. Nagarajan, N., and Vanheukelen, M., (1997) Evaluating EU Expenditure Programmes: A Guide. The unit of Budgetary overview and evaluation, in the Directorate-general for Budgets of the European Commission. P a t t o n, M. Q., ( 1 9 8 1 ). C r e a t i v e E v a l u a t i o n. S a g e P u b l i c a t i o n s, : B e v e r l y H i l l s. P a w s o n R. ( 1 9 9 6 ). T h r e e s t e p s t o c o n s t r u c i v i s t h e a v e n. E v a l u a t i o n. 2 ( 2 ) 2 1 3-2 1 9. S a g e P u b l i c a t i o n. L o n d o n. Pawson, R.; Tilley, N. (1997). Realistic Evaluation.Sage Publication. London. P o p p e r, K. R., ( 1 9 5 9 ). T h e L o g i c o f S c i e n t i f i c D i s c o v e r y. L o n d o n, H u t c h i n s o n a n d C o. N e w - Y o r k, B a s i c B o o k s, I n c. 18